Thế kỷ thứ 8, thời nhà Đường còn đô hộ Việt Nam, một viên quan nhà Đường gốc Nhật Bản là Abe no Nakamaro đã được cử sang làm Tiết độ sứ An Nam đô hộ phủ.

Đến thế kỷ 16, các thương nhân Nhật Bản thường xuyên qua lại khu vực biển ở Đông Nam Á để buôn bán, trong đó có lãnh thổ Đại Việt nhà Lê. Các thuyền chu ấn của Nhật Bản lúc này đã sang lãnh thổ Việt Nam.

Sang thế kỷ 17, các chúa Nguyễn ở Đàng Trong đẩy mạnh giao thương, chúa Nguyễn Hoàng cho phép thương gia Nhật Bản buôn bán và cư trú ở Hội An. Mạc phủ Tokugawa Ieyasu còn trao đổi công văn thương mại với chúa Nguyễn. Chúa Nguyễn Phúc Nguyên còn gả cả công nữ Ngọc Hoa (có nguồn ghi là Ngọc Khoa) cho thương nhân nổi tiếng Araki Shutaro (荒木宗太郎). Tuy nhiên, từ năm 1635 với sự ra đời của Luật bế quan tỏa cảng (Tỏa Quốc), Nhật Bản chỉ cho phép buôn bán với Trung Quốc, Triều Tiên và Hà Lan nên sự giao thương với Việt Nam bị gián đoạn.

Đến giữa thế kỷ 20, năm 1940, đế quốc Nhật mới thiết lặp căn cứ chống lại phe Đồng Minh ở Đông Nam Á và xâm lược Việt Nam đến tận năm 1945.

Tháng 9 năm 1973, Nhật Bản và Việt Nam thiết lập quan hệ ngoại giao chính thức.[1]